Thành Đại La ban đầu do Trương Bá Nghi cho đắp từ năm Đại Lịch thứ 2 đời Đường Đại Tông (767), năm Trinh Nguyên thứ 7 đời Đường Đức Tông (791), Triệu Xương đắp thêm. Đến năm Nguyên Hòa thứ 3 đời Đường Hiến Tông (808), Trương Chu lại sửa đắp lại, năm Trường Khánh thứ 4 đời Đường Mục Tông (824), Lý Nguyên Gia dời phủ trị tới bên sông Tô Lịch, đắp một cái thành nhỏ, gọi là La Thành, sau đó Cao Biền cho đắp lại to lớn hơn.

Theo sử cũ thì La Thành do Cao Biền cho đắp có chu vi 1.982,5 trượng (≈6,6 km); thành cao 2,6 trượng (≈8,67 m), chân thành rộng 2,5 trượng (≈8,33 m), nữ tường[13] bốn mặt cao 5,5 thước (≈1,83 m), với 55 lầu vọng địch, 6 nơi úng môn[14], 3 hào nước, 34 đường đi. Ông còn cho đắp đê vòng quanh ngoài thành dài 2.125,8 trượng (≈7,09 km), đê cao 1,5 trượng (≈5,00 m), chân đê rộng 2 trượng (≈6,66 m) và làm hơn 400.000 gian nhà. Theo truyền thuyết, do thành xây đi xây lại vẫn bị sụt ở vùng sông Tô Lịch, Cao Biền đã cho trấn yểm tại đây để làm cho đất vững và chặn dòng long mạch của vùng đất này.

Một vài di vật trong số các di vật tìm được trong lòng sông Tô Lịch tháng 9 năm 2001 được một số nhà nghiên cứu cho là di tích của bùa yểm này (xem Thánh vật ở sông Tô Lịch). Tuy nhiên, cũng có ý kiến khác cho rằng cần phải nghiên cứu thêm, vì nhiều di vật trong số này được xác định là thuộc về thời nhà Trần và nhà Lê, rất lâu sau thời của Cao Biền làm Tiết độ sứ ở Tĩnh Hải quân.

Người vợ

Theo thần phả ở Hà Đông, Cao Biền có một người vợ là Lã Thị Nga (Lã Đê nương), theo ông từ phương bắc sang Việt Nam. Bà không ở cùng Cao Biền trong thành Đại La mà ra ở bên ngoài, khu vực ngày nay là quận Hà Đông. Bà đã truyền nghề dệt lụa cho dân ở đây và trở thành bà tổ nghề dệt lụa Hà Đông.

Sau khi Cao Biền về bắc, bà ở lại Tĩnh Hải quân. Sau nghe tin Cao Biền mất ở Trung Quốc, bà gieo mình xuống sông tự vẫn. Dân lập đền thờ bà ở bờ sông.